城的军情时，昌豨就两眼盯着我看。而且，他的士兵所发射的箭日益稀少，此种迹象必定是因为昌豨心怀犹豫，所以才没有力战。我希望能挑试一下他，并与之洽谈，倘若可以成功诱使昌豨投降，岂不是更好吗？”

    于是，张辽派遣使者向昌豨传话：“曹公有命令，让张辽来对你传达。”昌豨果然走下来与张辽对话。张辽便说：“曹公神武，正在用他的美德感化四方，先归附的可以受大赏。”于是昌豨便答应投降。张辽知其肯降，于是只身上三公山，入昌豨家中，并拜候其家人。昌豨见张辽如此坦诚相对，心中欢喜，便随之往见曹操。[42]

    曹操先遣昌豨返还东海郡。随后，曹操便责备张辽道：“只身赴敌巢穴，这不是大将所为。”张辽拜谢了曹操的关怀，又根据当时的形势，回答道：“凭着明公威信著于四海，我张辽拿着圣旨，昌豨必然不敢害我。所以我才这么做。”

    通过张辽的成功劝降，东海郡在此后保持了长达5年的平静。此时，黄河以北的袁氏势力依然强大。直到5年之后，曹操平定了冀州并打垮了袁氏，统治东海郡的昌豨才再次发起叛乱。

    从攻袁氏

    建安七年（202年），张辽从讨袁谭、袁尚于黎阳时，累有功劳，行中坚将军。

    建安八年（203年），曹操攻袁尚于邺城，袁尚坚壁守垒，曹军久攻不下    。因此曹操采纳郭嘉之计让二袁自行内斗而先还许都，同时令张辽与乐进攻拔阴安，把当地百姓迁移到黄河以南。

    建安九年（204年）二月，袁尚再次攻打袁谭，张辽再次跟从曹操攻打邺城。[48]袁尚回军救援邺城，被曹操所破。袁谭趁机夺取了原属袁尚的冀州东部。

    独领一军

    建安九年（204年）八月，邺城被攻破后，张辽独领一军向北攻占赵国、常山二郡（“徇”的含义是攻占）曹操亲率主力向东攻打袁谭。张辽招降了那些靠近太行山边缘的诸多贼众及黑山军的孙轻等，此后，张辽跟从曹操攻击袁谭。

    建安十年（205年），袁谭败亡后，张辽独领一军攻占沿海数郡的海滨地带，攻破辽东军阀公孙度所置的营州刺史柳毅。又与长广太守何夔合兵平定了矣平的从钱等人。

    建安十一年（206年），收复东莱郡诸县后的张辽引军还邺城。曹操亲自出城迎接，邀请张辽同乘一辆车，并任命张辽为荡寇将军。

    张辽再次独领一军攻打荆州，平定江夏诸县，引军还，屯兵在临颍县，受封为都亭侯。

    大破乌桓

    建安十二年（207年），曹操要征讨在柳城的袁尚、袁熙与乌桓。张辽进谏：“许都，是天子所在的地方。现今，天子就在许都，曹公北征甚远，若刘表派遣刘备攻击许都，占据它而号令四方，明公您大势去矣。”曹操推测刘表必不能任用刘备，于是，大军出征。

    八月，曹操带领先锋部队登上白狼山，突然与敌兵遭遇。敌人的数量很多。当时，曹操军队的主力重兵还在后方，尚未到达前线，而曹操身边只有少量的军队。曹军将士们希望等待后续部队，并对当前的危险局面都感到恐惧。

    在“左右皆惧”的曹军氛围中，张辽力排众议，反对畏敌不前，极力劝说曹操应当趁着胡虏的阵势不整，立刻进行交战，而不是等待后援。张辽劝战时的语气非常振奋。曹操十分欣赏张辽的雄壮斗志，又看见乌桓的军队尚未排好战斗阵形，于是，采纳了张辽的建议。曹操亲自将自己所持的麾，授予给张辽暂用，于是张辽与张郃、曹纯等人攻击敌军，并临阵斩杀了以骁武著称的乌桓单于蹋顿。曹操“自以所持麾授辽”。《淮南子 主术训》：“军之持麾者，妄指则乱矣”，说明，“持麾”的作用在于“指”，张辽负责白狼山之战的临阵指挥。《魏武军令》：“麾前则前，麾后则后，麾左则左，麾右则右。不闻令而擅前后左右者斩”，说明，曹军各部的进攻方向、进攻时机全由张辽决定[60][61]。）此役，虽然敌众我寡、左右皆惧，并且，“蹋顿又骁武，边长老皆比之冒顿”，但是，乌桓的军阵当时还没有排列整齐，张辽极力主张迅速进攻，终于，其疾如风，虏众大崩，胡、汉降者二十馀万。

    白狼山之战是汉人击败胡虏的重要一战，张辽也因此名声卓著。唐朝的昭文馆大学士甚至将张辽与卫青、霍去病相提并论，于是有诗句写在《登长城赋》：“卫青开幕，张辽辟土，校尉嫖姚，将军捕虏。”

    智破谋反

    建安十三年（208年），当时，荆州尚未安定，人心尚未归附。曹操在那一年，重新组建了许多军队。张辽率领其中一支新组建的军队，屯驻于长社。军队临出发之际，军中忽有谋反者起事骚动，在夜间，惊乱起火，全军尽受其扰。此时，张辽经过审时度势，对左右说：“不可乱动。这一定不会是全营尽反，必然是那些制造叛变之人，想藉此骚动去惑乱众人而已。”于是，张辽传令军中，只要不是谋反者就安坐勿动。而张辽则带领亲兵数十人，守立于阵中。情况逐渐稳定下来，不久，在军中查出并擒获了制造动乱的首